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Beschreibung 

System und Verfahren zur Inf ormationsdarstellung 

5 Die Erfindung betrifft ein System und Verfahren zur 
Inf ormationsdarstellung . 

Ein derartiges System und Verfahren kommt beispielsweise im 
Bereich der Automatisierungstechnik, bei Produktions- und 
10 Werkzeugmaschinen, bei Diagnose -/Serviceunterstutzungs- 

systemen sowie fur komplexe Komponenten, Gerate und Systeme, 
wie beispielsweise Fahrzeuge und industrielle Maschinen und 
y Anlagen zum Einsatz, insbesondere im speziellen Kontext des 
Anwendungsf eldes '^Augmented Reality im Service" . 

15 

Der Erfindung liegt die Aufgabe zugrunde, die Bereitstellung 
von Inf ormationen und , Funktionen im Hinblick auf die 
Anwenderf reundlichkeit zu verbessern. 

20 Diese Aufgabe wird durch ein System sowie ein Verfahren mit 

den in den Anspruchen 1 bzw. 14 angegebenen Merkmalen gelost. 

Viele komplexe Tatigkeiten in den Bereichen Service, Wartung 
^ und Produktion erfordern ein hohes Mafi an unterstutzenden 
;^|5 Inf ormationen und Funktionen am richtigen Ort und zur 

richtigen Zeit . Mobile Augmented Reality (AR) -Technologie 
ermoglicht in diesen Bereichen einen Zugrif f auf einen sehr 
umf angreichen Datenbestand . Inf ormat ionsmanagementsysteme 
bieten Zugriff auf eine Vielzahl von Inf ormat ionen, fiir die 
3 0 Erledigung einer konkreten Aufgabe wird aber nur ein Teil aus 
diesem Pool gebraucht . Welche Inf ormationen benotigt werden, 
ist abhangig vom Kontext und der Aufgabe des Benutzers. In 
gebrauchlichen Inf ormationsmanagementsystemen muss sich der 
Benutzer die fiir ihn zum aktuellen Zeitpunkt interessanten 
35 Inf ormationen erst suchen, was oft erheblichen Zeitaufwand 
bedeutet. Traditionelle Benutzungsoberf l§.chen erfordern in 
der Regel mehr oder weniger komplexe Such- und/oder 
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Navigationsdialoge um die entsprechende Information oder 
Funktion zu finden. Sie sind in ihrer Struktur und ihrem Look 
& Feel meist statisch, bieten haufig eine Vielzahl von 
Optionen, von denen zur Erledigung einer konkreten Aufgabe 
5 jedoch nur ein Teil gebraucht wird, und sie konnen nur 

bedingt an die aktuellen Bediirfnisse des Benutzers angepasst 
werden. Weitere Anf orderungen an die Benutzungsoberf lache 
mobiler AR-Systeme ergeben sich aus der GroEe der Displays, 
die wesentlich kleiner als PC-Monitore sind (sog. 

10 "Babyface"). Um eine Uberfullung des Displays (Display 
clutter) zu vermeiden, sollten moglichst nur solche 
Informationen und Funktionen dargestellt werden, die fiir den 

; Benutzer in seinem aktuellen Kontext Bedeutung haben. Dies 
gilt in verstarktem Mafie fur solche Augmented Reality- 

15 Systeme, bei denen computergenerierte Informationen (z. B. 
mit einem Head-Mounted Display) direkt in das Blickfeld des 
Benutzers eingeblendet werden und so die Wirklichkeit 
iiberlagern. Die Schwierigkeit besteht also darin, aus einem 
sehr grolSen Datenbestand die vom Benutzer fiir seine Aufgabe 

20 wirklich benotigten Informationen und Funktionen 

herauszuf iltern und sie ihm in angemessener Form auf einem 
mobilen AR-System zu prasentieren . 



Aktuelle Inf ormationsmanagementsysteme sind bisher nur auf 
^^p5 stationare Systeme ausgerichtet . Weit verbreitete grafische 
Benutzungsoberf lachen (Desktop-Metapher) ermoglichen dem 
Benutzer individuelle Anpassungen, wie Direktzugrif f e auf 
haufig benotigte Informationen und Funktionen (z. B. uber 
Verknupfungen auf dem Desktop) oder das Ausblenden und 

30 Modifizieren von Symbolleisten. In gangigen Betriebssystemen 
sind Suchfunktionen integriert, die uber umfangreiche 
konf igurierbare Kriterien verfiigen, die das Auffinden von 
Informationen am lokalen Arbeitsplatz, im lokalen Netzwerk 
Oder auch im Internet ermoglichen. Im Internet gibt es zudem 

35 eine Vielzahl von Suchmaschinen, die haufig auf bestimmte 
Auf gabenstellungen spezialisiert sind. Die Option einer 
Volltextsuche ermoglicht die Suche nach Kriterien, die beim 
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Aufbau der entsprechenden Inf ormationsdatenbanken nicht 
berucksichtigt worden sind. Of f line-Suchsysteme fiihren nach 
Benutzervorgaben selbststandig Recherchen im Internet durch. 
Alle beschriebenen derzeitigen Losungen erfordern vom 
Benutzer ein hohes Mafi an Planung und konkreten Vorgaben an 
das System. Wahrend dem Benutzer in der Regel klar ist, in 
welchem Kontext er bestimmte Inf ormationen sucht, muss er 
dies dem System uber aufwandige Kriterienspezif ikationen 
mitteilen. Fur kurzfristige Auf gabenstellungen ist hier der 
notwendige Auf wand haufig zu hoch, urn zu brauchbaren 
Ergebnissen zu kommen. 

Die vorliegende Erfindung bietet ein Werkzeug in Form eines 
Systems zur Bereitstellung von Inf ormationen und Funktionen, 
welches im Folgenden auch Kontextnavigator genannt wird, das 
dem Benutzer mobiler AR-Systeme abhangig von seinem Kontext 
(Ort; Aufgabe, Personen, Arbeitsobjekt ) Inf ormationen 
und/oder Funktionen anbietet. Der Kontextnavigator ermoglicht 
es, schnell und effizient auf Inf ormationen aus einem 
umf angreichen Datenbestand zuzugreifen, indem er dem Benutzer 
eine sinnvolle Vorauswahl anbietet. Diese Vorauswahl wird 
dynamisch aus dem aktuellen Kontext generiert : Je nach seiner 
raumlichen Position, dem aktuellen Arbeitsobjekt, der 
Arbeitsauf gabe sowie moglichen Kommunikationspartnern erhalt 
der Benutzer eine angepasste Auswahl an Inf ormationen und 
Funktionen. Raumlicher Kontext, Arbeitsobjekte (z. B. 
Komponenten) und Kommunikationspartner (weitere anwesende 
Personen) werden vom System automatisch uber AR-Tracking 
erfasst, Arbeitsauf gaben bzw. Arbeitsablauf e uberwacht und 
steuert eine Workf low- Engine . Der Benutzer kann entscheiden, 
welche der automatisch erkannten Objekte in seinem mobilen 
AR-System angezeigt werden, er kann manuell (z. B. uber eine 
Suche) zusatzliche Elemente hinzufugen, und er hat standig 
direkten Zugriff auf die von ihm ausgewahlten Objekte. Die 
mobile Anwendung eines Computersystems stellt im Vergleich 
zum Biiroarbeitsplatz erhohte Anf orderungen hinsichtlich eines 
effizienten und schnellen Zugriffes auf die benotigten Daten, 
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bietet aber zugleich die Moglichkeit, aus dem raumlichen 
Kontext heraus Inf ormationen dariiber zu beziehen, welche 
Inf ormationen oder Funktionen fur den Benutzer in der 
aktuellen Situation wichtig oder nutzlich sind. 

5 

Der Kontextnavigator erkennt mit Hilfe eines AR- 
Trackingsystems den raumlichen Kontext (Standort, 
Komponenten, anwesende Personen) und mit Hilfe einer 
Workflow- Engine den Arbeitskontext des Benutzers, Aufgrund 
10 dieser Inf ormationen passt sich die Benutzungsoberf lache an 
und zeigt die Inf ormationen und Funktionen an, die.im 
aktuellen Kontext - also z. B. fur den aktuellen 
Arbeitsschritt an der aktuellen Komponente - sinnvoll sind. 
Der Kontextnavigator wirkt wie ein dynamischer Filter auf den 
15 Datenbestand und ist somit in der Lage, die ''passenden" 
Informationen und Funktionen zum richtigen Zeitpunkt zur 
Verfiigung zu stellen. Der Benutzer hat die Moglichkeit, auf 
mehrere Kontextobjekte direkt zuzugreifen. Diese werden ihm 
in der Anzeige durch kontextspezif ische Menus dargeboten, 
20 welche den Zugriff auf die jeweiligen Informationen und 

Funktionen ermoglichen. In diesen kontextspezif ischen Menus 
sind u. U. Referenzen auf '^verwandte" Kontextobjekte 
enthalten (z. B. auf Komponenten, die funktional mit der 
aktuell bearbeiteten Komponente verknupft sind) . Der Benutzer 
kann die ihm dargebotenen Kontextobjekte jederzeit wieder aus 
der Anzeige entfernen, wenn er sie nicht mehr benotigt. 

In der vorliegenden Erfindung wird ein Trackingsystem 
eingesetzt, das ist ein System, das Objekte (z. B. Raume, 

3 0 Maschinen, Komponenten) erfassen und erkennen kann. Die 
Erfassung erfolgt vorteilhaft iiber eine Bilderf assungs- 
einheit . Die erf assten Informationen werden in einer 
Rechnereinheit ausgewertet. Mit Hilfe des Trackingsystems 
wird der Standort des Benutzers und der Kontext, in dem er 

35 sich befindet, ermittelt und diese Informationen an die 

Rechnereinheit weitergeleitet . Unter dem Begriff Kontext sind 
Informationen zu verstehen, die im ortlichen, zeitlichen oder 
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funktionalen Zusammenhang mit dem Benutzer stehen, so z. B. 
seine konkrete Arbeitssituation, seine ortliche Umgebung, 
seine Blickrichtung und sein Blickfokus, aber auch das 
Vorliegen von externen Storungen oder Inf ormationen, die fiir 
5 den Benutzer relevant sein konnten. Die Generierung der 

Meldungen iiber externe Storungen und Inf ormationen erfolgt in 
ersten Steuermitteln . Dazu zahlt auch das Inf ormationssystem, 
welches durch die gegebenen Kontexthinweise "filtert" und die 
Inf ormationen zur Verfiigung stellt, die im Moment relevant 

10 sind. 1st ein bestimmter Kontext vom Trackingsystem erfasst, 
bildet er ein sogenanntes Kontextobjekt und erscheint 
I ,0 symbolisch in einer Art ''Taskleiste" als ''Button" . Durch die 
.j^ Bedienung dieser ''Buttons", also der zweiten Steuermittel, 
kann der Benutzer zwischen verschiedenen Kontextobjekten 

15 wechseln. Jedes Kontextobjekt hat sein eigenes Menu, in dem 
u. a. die Option enthalten Ist, das Kontextobjekt aufzugeben. 
Mit Hilfe eines fiir Augmented-Reality-Anwendungen ublichen 
Trackingsys terns werden somit die Moglichkeiten und Potent iale 
der Kontexterf assung auf das Design, die Struktur und die 

2 0 Organisation einer Benutzeroberf lache libertragen, urn eine 
intuitive, schnelle und benutzerf reundliche Navigation, 
Orient ierung und Bedienbarkeit zu gewahrleisten. Der Benutzer 
bleibt dadurch mobil, dass die Anzeigevorrichtung als Display 
eines mobilen Rechnersystems ausgebildet ist. Der Kontext- 
^:j||5 navigator und seine Bestandteile sind auf einem oder mehreren 
mobilen oder stationaren Rechnersystemen implementiert . 

Im Folgenden wird die Erfindung anhand der in den Figuren 
dargestellten Ausf lihrungsbeispiele naher beschrieben und 
30 erlautert . 

Es zeigen: 

FIG 1 die Funktionsweise des Kontextnavigators 

im Uberblick, 

35 FIG 2 ein Kontextobjekt mit Inf ormationen, 

Funktionen und Notizen, 
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den Kontextnavigator visualisiert auf 
einem Kand-held Display, 
den Kontextnavigator visualisiert auf 
einem Head-Mounted Display, 
eine Veranschaulichung des Kontext- 
navigators beim Granularitatslevel 1, 
eine Veranschaulichung des Kontext- 
navigators beim Granularitatslevel 1 bei 
veranderter raumlicher Position gegenuber 
FIG 5, 

eine Veranschaulichung des Kontext- 
navigators bei einer Veranderung des 
Granularitatslevels , 

eine Veranschaulichung des Kontext- 
navigators bei einem auf Level 3 
geanderten Granularitatslevel, 
ein weiteres Ausf iihrungsbeispiel des 
Kontextnavigators und 

Ansichten einer Benutzeroberf lache auf 
einer Anzeigevorrichtung des 
Kontextnavigators . 

Im Folgenden werden anhand der Figuren 1 bis 3 die 
verwendeten Komponenten und ihr Zusammenwirken erlautert. 
"1^5 Zuerst wird ein Uberblick uber die benutzten Begriffe 
gegeben. Ein Kontextobjekt 6 enthalt einen gefilterten 
Datensatz aus einem Datenbestand 7, z. B. einer Datenbank, 
der Zugriff auf Inf ormationen 8 und Funktionen 9 ermoglicht . 
Kontextobjekte 6 werden durch die Kontextregistrierung 21, 22 

3 0 aus dem realen Kontext erzeugt. Der Kontextmanager 2 3 ist das 
zentrale Element des Kontextnavigators 3 0 und dient der 
Verwaltung der Kontextobjekte 6. Der Kontextmanager 23 ist 
dafur zustandig, dass neue Kontextobjekte 6 fiir den Benutzer 
3 in die Kontextanzeige 2 9 ubernommen werden. Als 

35 zusatzlicher Filter dient der Granularitatsregler 24. Die 
Objekte in der Kontextanzeige 2 9 werden dem Benutzer 3 in 
Form kontextspezif ischer Menus 20 prasentiert. Uber 



FIG 3 
FIG 4 
5 FIG 5 
FIG 6 



10 

FIG 7 

/ 

FIG 8 

15 

FIG 9 

FIG 10 bis FIG 20 

20 



2001P01308 DEOl 



7 

Referenzen hat der Benutzer 3 die Moglichkeit, einen 
vorgegeben Hinweis zu aktivieren und damit ein neues 
Kontextobjekt 6 zu erzeugen. 

Figur 1 gibt einen Uberblick liber die Funktionsweise des 
5 Kontextnavigators 30. Es gibt grundlegend zwei Arten der 

Registrierung von Kontextobjekten 6: die automat ische und die 
manuelle Kontextregistrierung. Die automatische 
Kontextregistrierung 21 erzeugt Kontextobjekte 6, wenn durch 
Grob-Tracking 25 oder Fein-Tracking 26 oder durch die 

10 Workf low-Engine 2 7 neue Objekte im realen Kontext erkannt 

werden. Erzeugte Kontextobjekte 6 werden itu Kontextmanager 23 
^ verwaltet und durch den Granularitatsregler 24 gefiltert. 
^/ Hier kann der Benutzer 3 einstellen, mit welcher ''Auflosung" 
das System ihm Kontextobjekte 6 anbieten soli (z. B. nur 

15 GroSkomponenten vs. Einzelteile von Subkomponenten) . In einem 
Dialog kann der Benutzer 3 entscheiden, ob er das erkannt e 
Objekt in seine Kontextanzeige 29 aufnehmen will. Durch die 
manuelle Kontextregistrierung 22, auch benutzergef <ihrte 
Kontextregistrierung genannt, hat der Benutzer 3 die 

2 0 Moglichkeit , gezielt Kontextobjekte 6 zu erzeugen, die durch 

die Automatik aktuell nicht erfasst werden. 

Im Folgenden wird genauer auf die einzelnen Telle des 
Kontextnavigators 3 0 eingegangen. Kontextobjekte 6 
^5 unterscheiden sich in ihren Eigenschaf ten hinsichtlich des 
Typs darin, ob sie automatisch generiert werden konnen, ob 
sie automatisch angezeigt werden, ob sie granulierbar 
(skalierbar) sind und welche Inf ormationen 8 und Funktionen 9 
zu ihnen abrufbar sind. Es sind vier Typen von 

3 0 Kontextobjekten 6 zu unterscheiden (siehe auch Tabelle 1) : 

Raum, Arbeitsobj ekt , Kommunikation, Workflow. Die 
Kontextanzeige 29 kann beliebig viele Kontextobjekte 6 
beliebiger Typen enthalten. Alle angezeigten Kontextobjekte 6 
miissen vom Benutzer 3 explizit wieder entfernt werden, sie 
35 unterscheiden sich aber darin, wie sie in die Kontextanzeige 
29 aufgenommen werden. Die folgende Tabelle 1 gibt einen 
Uberblick iiber die verschiedenen Typen von Kontextobjekten 6, 
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ihre speziellen Eigenschaf ten sowie die zugehorigen 
Informationen 8 und Funktionen 9. In Spalte A wird der Typ 
des jeweiligen Kontextobjekts 6 angegeben, in Spalte B die 
zugehorigen Subtypen. Die Spalten C, D sowie E enthalten 
5 Informationen iiber spezielle Eigenschaf ten der Kontextobjekte 
6, namlich ob sie automatisch generiert (Spalte C) , 
automatisch angezeigt (Spalte D) bzw. granulierbar (Spalte E) 
sind. In Spalte F werden die zugehorigen Informationen 8, in 
Spalte G die zugehorigen Informationen 9 aufgelistet. 

10 

Tabelle 1: Typen von Kontextob j ekten 6 



A 


B 


C 


D 


E 


F 


G 


Raum 


Raum 


Ja 


Ja 


Nein 


• Grundriss 

• Verfiigbare 
Komponenten 

• Kommunika- 
tionsein- 
richtungen 


• Weg beschrei- 
ben lassen 

• Einrichtungen 
im Raum schal- 
ten (Licht/ 
Beluf tung, 
Stromver- 
sorgung etc . ) 


Bereich 


Ja 


Ja 


Nein 


Arbeits- 
ob j ekt 


GroSkom- 
ponente 


Ja 


Nein 


Ja 


• Manual e 

• Schaltplane 

• Konstruk- 
tionszeich- 

nungen 

• Stiicklisten 

• Kontakt- 
personen 


• Messdaten 
auslesen/ 
aktual i s i eren 


Teilkom- 
ponente 


Ja 


Nein 


Ja 


Kommuni- 
kation 


Person 
(anwesend) 


Ja 


Nein 


Ja 


• Name , Zuge - 
horigkeit 
(Firma, 
Abteilung) 

• Zustandig- 
keit 

• Zugehorige 
Personen 

• Erreich- 
barkeit 


• Direkte 
Kommun i ka t i on 

• Versenden von 
Material /Da ten 

• Zeitversetzte 
Kommun i ka t i on 


Person 
(entf ernt) 


Nein 


Nein 


Ja 


Workflow 


Auf trag 


Ja 


Ja 


Nein 


• Arbeits- 
schritte 


• Schritt-fiir- 
Schritt- 
Anweisung 

• Messdaten 
aktualisieren 

• Kommunizieren 


Aufgabe 


Ja 


Nein 


Nein 


• Arbeits- 
obj ekte 

• Kontakt- 
personen 
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Der Kontext des Benutzers 3 wird fortlaufend uberwacht und 
daraufhin iiberpruft, ob das System spezifische Inf ormationen 
8 Oder Funktionen 9 anbieten kann. Die automat ische 
5 Kontextregistrierung 21 uberwacht die Daten, die von Grob- 
Tracking 25 und Fein-Tracking 26 sowie von der Workflow- 
Engine 27 generiert werden. Sobald die automatische 
Kontextregistrierung 21 ein neues Objekt registriert, erzeugt 
sie ein Kontextob j ekt 6, das in den Kontextmanager 23 

10 libernommen wird. Neue Objekte entstehen, wenn sich durch 

Bewegung des Benutzers 3 der tatsachliche raumliche Kontext 
bzw. das Blickfeld des Benutzers 3 andert oder die Workflow- 
Engine 27 den nachsten Arbeitsschritt vorgibt. Die 
automatische Kontextregistrierung 21 ist auch dafiir 

15 zustandig, fur bestimmte Objekte eine Referenz zu erzeugen, 
die der Benutzer 3 fur die manuelle Kontextregistrierung 22 
nutzen kann. 



Kontext kann manuell regis triert werden, wenn der Benutzer 
20 z. B. Inf ormationen 8 liber den benachbarten Raum, eine 

. funktional verwandte Komponente, eine bestimmte Person oder 
einen Arbeitsablauf abrufen mochte. Als Input fur die 
manuelle Kontextregistrierung 22 dienen manuelle Eingabe 31, 
Suchfunktion 32 sowie die Auswahl von Referenzen 33. Bei 
'25 manueller Eingabe 31 wird lediglich die (bekannte) 

Komponentennummer bzw. -bezeichnung eingegeben, die manuelle 
Kontextregistrierung 22 erzeugt daraufhin das entsprechende 
Kontextobjekt 6, das dem Kontextmanager 23 ubergeben wird. 
Bei Benutzung der Suchfunktion 32 wird das Kontextobjekt 6 
3 0 erzeugt, sobald das gewunschte Objekt gefunden ist. Das 
gleiche gilt fiir die Auswahl von Referenzen 33. 

Referenzen werden entweder in der Kontextanzeige 29 eines 
Kontextobjekts 6 oder durch die automatische 
35 Kontextregistrierung 21 erzeugt. Sie dienen dem Benutzer 3 
als Auswahlmoglichkeit , das entsprechende Kontextobjekt 6 
wird jedoch erst auf explizite Auswahl hin erzeugt. 
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Referenzen stellen sich dem Benutzer 3 als Eintrage in den 
kontextspezif ischen Menus 20 oder als virtuelle Markierung an 
einem realen Objekt ("Flag") dar. Einen Menu- oder 
Listeneintrag kann der Benutzer 3 z. B. auf dem Touchscreen, 
5 mit dem Drehdriickknopf oder per Sprache auswahlen. Ein Flag 
an einer Komponente kann durch Fixieren fur eine bestimmte 
Dauer oder durch Fixieren und Bestatigung per Tastendruck 
oder Sprachbefehl ausgewahlt werden. Eine weitere Art von 
Referenzen sind Barcodes oder Beschrif tungen, die direkt an 
10 Komponenten befestigt sind und z. B. mit einem Handscanner 
eingelesen werden konnen. 



Der sich verandernde (reale) Kontext wirkt wie ein 
dynamischer Filter, der auf den Datenbestand 7 der gesamten 
15 verfugbaren Inf ormationen 8 angewandt wird: Der 

Kontextmanager 23 halt alle Daten vor, welche zum gegebenen 
Zeitpunkt am gegebenen Ort fur den jeweiligen Benutzer 3 
interessant sein konnten, wahrend die Kontextanzeige 29 dem 
Benutzer 3 den Zugriff auf die aktuell verfugbaren 
2 0 Kontextobjekte 6 ermoglicht. Der Kontextmanager 23 verwaltet 
die automatisch oder manuell erzeugten Kontextobjekte 6 . Je 
nach Anwendungsfall und/oder Konf iguration teilt das System 
dem Benutzer 3 mit, dass er kontextspezif ische Inhalte 
abrufen kann (bzw. ob er ''den Kontext wechseln" will) oder 
prasentiert ihm diese automatisch. Bestimmte Kontextobjekte 6 
werden in jedem Fall automatisch ohne Bestatigung des 
Benutzers 3 in den aktuellen Kontext und somit in die 
Kontextanzeige 29 aufgenommen. Auf diese Weise kann der 
Benutzer 3 notwendige Inf ormationen 8 (z. B. Sicherheits- 
30 vorschriften fiir den Raum, den er gerade betreten hat) , 

unmittelbar abrufen. Bei anderen Kontextobjekten 6 wird dem 
Benutzer 3 ein Dialog prasentiert, in dem er entscheiden 
kann, ob er das entsprechende Objekt in seine Kontextanzeige 
29 ubernehmen will. Als vorgeschalteter Filter dient hier der 
35 Granularitatsregler 24. Kontextobjekte 6 hoherer als der 
eingestellten Granularitat werden dem Benutzer 3 nicht 
prasentiert. Dem Benutzer 3 werden neue Objekte prasentiert, 
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wenn sich durch Bewegung der tatsachliche raumliche Kontext 
andert oder wenn sich die Granularitat verandert . Fur den 
Benutzer 3 stehen die aktuellen Kontextobjekte 6 in der 
Kontextanzeige 29 jederzeit zur Verfiigung und sind direkt 
5 auswahlbar. Auf einer z. B. als Hand-held Display 

ausgebildeten Anzeigevorrichtung 1 erscheinen sie als Objekt 
28 in der Leiste am unteren Bildschirmrand (siehe Figur 3), 
auf einer als Head-Mounted Display ausgebildeten 
Anzeigevorrichtung 1 als nummeriertes Objekt 34 in einer 
10 senkrechten Schnur am linken Bildrand (siehe Figur 4) , Jedes 
der liber die Objekte 28, 34 anwahlbaren kontext spezifischen 
Menus 2 0 enthalt drei Gruppen von Eintragen: Inf ormationen 8, 
Funktionen 9 und das Entfernen 3 5 des Objektes aus dem 
aktuellen Kontext. Wahrend Objekte in der Kontextanzeige 29 
15 solange verbleiben, bis sie vom Benutzer 3 wieder entfernt 
werden, enthalt der Kontextmanager 23 immer nur aktuell 
''giiltige" Kontextobjekte 6. Wenn z. B. ein Objekt aufgrund 
der Granularitatseinstellungen nicht zur Anzeige gekommen ist 
und es sich durch Bewegung des Benutzers 3 nicht mehr im 
20 tatsachlichen raumlichen Kontext befindet, so wird dieses 
Kontextob j ekt 6 automatisch geloscht. 

Kontext ist grundlegend in drei Ebenen (Levels) 
untergliedert ; Level 1 ist die grobste, Level 3 die feinste 
Untergliederung. Kontext ist somit in verschiedener 
Granularitat (Feinheit) bestimmbar und abrufbar. Zusatzlich 
gibt es einen Level 0 zur Kennzeichnung von Objekt en, die in 
jedem Fall ohne Nachfrage an den Benutzer angezeigt werden. 
Welche Arten von Objekten durch die Granular i tats - 
30 einstellungen beeinflussbar (d. h. ^^granulierbar" ) sind, ist 
Tabelle 1 zu entnehmen. Bei Bewegung innerhalb eines Gebaudes 
reprasentieren einzelne Raume (oder Teilbereiche in grofien 
Hallen) die Kontext -Einhei ten auf Level 1. Level 2 betrifft 
Grofikomponenten, Level 3 kleinere (Teil-) Komponenten. Die 
35 Granularitat wird entweder automatisch (z. B. nach Workflow- 
Kontext) oder manuell bestimmt. 



2001P01308 DEOl 



12 

Figur 5 bis 8 veranschaulichen die Funktionsweise des 
Kontextnavigators 30. Sie sind keine Visualisierung der 
tatsachlichen Benutzeroberf lache . Dargestellt ist das 
Zusammenspiel von Kontextmanager 23, Granularitatsregler 24 
und Benutzerdialog 36 zur Aufnahme von Kontextob j ekten 6 in 
die Kontextanzeige 29. Nicht dargestellt sind die eigentliche 
Kontextregistrierung 21, 22 sowie die automat ische Anzeige 
von Level 0 -Ob j ekten. In Figur 5 wurde die Granularitat auf 
Level 1 eingestellt und somit die mit den Bezugszeichen 37 
und 38 bezeichneten Objekte erkannt . Der linke Bereich in 
Figur 5 bis 8 veranschaulicht die erkennbaren Objekte in der 
tatsachlichen Umgebung. GroSe und Strukturierung kennzeichnen 
die zugeordnete Granularitat. In der in Figur 6 dargestellten 
Situation hat sich der Benutzer 3 bewegt, so dass nun ein 
zusatzliches Level 1-Objekt (Bezugszeichen 39) durch die 
automatische Kontextregistrierung 21 erfasst und als 
Kontextobjekt 6 erzeugt wurde. Das Verandern der Granularitat 
auf Level 2 (Figur 7) fuhrt dazu, dass wiederum zusatzliche 
Objekte (Bezugszeichen 40, 41 und 42) im Benutzerdialog 36 
angeboten werden. Zu beachten ist, dass mit hoherer 
Granularitat der vom Kontextmanager 23 uberwachte 
Auswahlbereich 4 3 verkleinert wird, urn die Menge der 
erkannt en Objekte im uberschaubaren Rahmen zu halten. Im 
Beispiel fuhrt das dazu, dass das mit dem Bezugszeichen 3 9 
gekennzeichnete Objekt nicht mehr vom Kontextmanager erfasst 
wird- In der in Figur 6 dargestellten Situation schlieSlich 
wurde die Granularitat nochmals verf einert . Als neue Objekte 
erscheinen die mit den Bezugszeichen 44 und 45 bezeichneten 
Objekte im Kontextmanager 23, das mit dem Bezugszeichen 40 
gekennzeichnete Objekt fallt heraus . Wenn Objekte im 
Kontextmanager 23 nicht mehr erfasst werden (durch Bewegung 
Oder durch Veranderung der Granularitat mit demzufolge 
eingeschranktem Sichtbereich) , verschwinden sie jedoch nur 
aus dem ^^Angebot" , das der Kontextmanager 23 dem Benutzer 3 
macht. Alle Objekte in der Kontextanzeige 2 9 verbleiben dort 
so lange, bis der Benutzer 3 sie manuell wieder entfernt 
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(unabhangig von den Inhalten, die der Kontextmanager 23 
aktuell enthalt) . 

Die Notizfunktion ist nicht eigentlicher Bestandteil des 
5 Kontextnavigators 30, wird hier aber aufgefuhrt, da es sich 
bei Notizen um Inhalte handelt, bei denen die Kontext- 
bezogenheit ein grofie Rolle spielt. Der Benutzer 3 kann sich 
zu einem beliebigen Zeitpunkt zu beliebigen Objekten Notizen 
machen. Bereits erfasste Notizen sind jederzeit abrufbar, 

10 entweder "kontextf rei" liber eine generelle Suchliste oder 

kontextspezif isch direkt uber die kontextspezif ischen Menus 
^ 20. Notizen sind in drei Klassen unterteilt und konnen vom 
Benutzer 3 beim Anlegen entsprechend gekennzeichnet werden: 
Private Notizen kann nur der Benutzer 3 abrufen, der sie 

15 angelegt hat. Offentliche Notizen sind fiir alle Benutzer 3 
zuganglich. Datenpf legerelevante Notizen kennzeichnen 
Hinweise auf notwendige Korrekturen oder Anderungen des 
Datenbestands . 

20 In einem weiteren Ausfiihrungsbei spiel zeigt FIG 9 als 

Benutzer 3 des Kontextnavigators 30 einen Servicetechniker , 
der an der Maschine XB42 0 (gekennzeichnet mit dem 
Bezugszeichen 4) eine Schwingungsmessung der Spindel 
durchf uhrt . Er erhalt Inf ormationen mittels einer 
Anzeigevorrichtung 1 (Benutzeroberf lache) seines mobilen 
Rechnersystems 2. Er benutzt ein Trackingsystem 5. 

FIG 10 zeigt ein Abbild der Anzeigevorrichtung 1 in diesem 
Zeitpunkt. FIG 11 bis FIG 20 zeigen dementsprechend Abbilder 

30 der Anzeigevorrichtung 1 bei weiteren Schritten. Der Benutzer 
3 befindet sich zu Beginn im Hauptkontext '^Maschine XB 420" 
(zu erkennen an dem Button in der Taskleiste 14 mit dem 
Bezugszeichen 10), d. h. alle Daten (z. B. Maschinen- 
dokumentation, Fehlerhistorie etc.) die er z . B. uber das 

3 5 Hauptmenu mit dem Button 12 aufrufen konnte, beziehen sich 
auf diese Maschine 4. Die ebenfalls angezeigten 
Navigationsoptionen 11 bleiben liber alle Kontexte gleich. Der 
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aktuelle Auf tragskontext des Benutzers 3 ist im Moment die 
Schwingungsmessung (symbolisiert durch den Button mit dem 
Bezugszeichen 13) . Der Prozess des Aufrufens des Hauptmeniis 
ist in FIG 11 bis FIG 13 dargestellt. Der Benutzer 3 
5 selektiert mit Hilfe des entsprechenden Buttons 10 den 

Hauptkontext (siehe FIG 11) . Im nachsten Schritt ruft er mit 
dem dafiir vorgesehenen Button 12 das Menu 15 zum Hauptkontext 
auf (FIG 12), Dieses Menu 15 ist in FIG 13 dargestellt. Alle 
Eintrage in diesem Menu 15 beziehen sich auf den aktuellen 
10 Hauptkontext. Statt Maschine und Auf tragskontext konnte man 
sich auch einen Raum oder eine bestimmte Komponente einer 

f Maschine als potentiell durch das Trackingsystem 5 
erfassbaren Kontext vorstellen. 

15 FIG 14 bis FIG 20 zeigen Abbilder der Anzeigevorrichtung 1 

fiir den Fall, dass durch eine externe Information bzw. durch 
ein externes Ereignis ein Wechsel des Kontextobjekts 6 
hervorgeruf en wird. Bei einer anderen Maschine passiert ein 
Fehler. Der Fehler wird an das mobile Rechnersystem 2 des 

2 0 Benutzers 3 weitergeleitet , wobei das aktuelle Kontextobjekt 

16 wechselt, es ist jetzt die fehlerhafte Maschine mit der 
Bezeichnung XHC 241 (siehe FIG 14) . Alle relevanten 
Inf ormationen, die abgerufen werden konnen, beziehen sich 
jetzt auf diese Maschine, die vorherigen uber die Buttons 10, 
13 anwahlbaren Kontextobjekte bleiben aber immer noch in der 
Taskleiste 14 symbolisiert und konnen auch aktiviert werden. 
In diesem Fall andert sich der Kontext aufgrund eines 
Ereignisses (des Fehlers) . Vorstellbar ist aber auch, dass 
der Benutzer 3 die erste Maschine 4 verlasst, sich einer 

3 0 anderen nahert, das Trackingsystem 5 diese erfasst und auf 

diese Weise das neue Kontextobjekt 16 regis triert wird, 

Der Benutzer 3 will sich Inf ormationen 17 zum Fehler 
anschauen. Durch die Kontextregistrierung filtert Ihm das 
35 Inf ormationssystem die fur den aktuellen Kontext relevanten 

Inf ormationen 17 (siehe FIG 16) . Diese Inf ormationen sind das 
Ergebnis einer Datenbankabf rage, gefiltert durch die 
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Kontextabf rage passend zum Hauptkontextobjekt . Im nachsten 
Schritt will der Benutzer 3 Ersatzteile fur die defekte 
Maschine bestellen. Er aktiviert das Kontextobj ekt 16 
'"Maschine" (siehe FIG 17) und ruft das Hauptmenu mit dem 
5 entsprechenden Button 19 auf (siehe FIG 18) . Das 

kontextspezif ische Menu 20 (siehe FIG 19) bezieht sich jetzt 
auf das Kontextobj ekt 16 der Maschine XHC241 als neuen 
Hauptkontext . In FIG 20 ist die angezeigte Liste 18 der 
Ersatzteile dargestellt. Der Benutzer 3 kann also eine 
10 Vielzahl von Inf ormationen verwalten, ohne lange suchen zu 
miissen bzw. seine Benutzeroberf lache iiberladen zu haben. 
Dafur nutzt er die beschriebene dynamische und 
kontextabhangige Anzeigeoberf lache 1 und Inf ormationssysteme 
fur Mobile Computing wie den Kontextnavigator 30. 

15 

Eine Vielzahl von Technologien und Inf ormationen sind heute 
verfiigbar, um Benutzer 3 bei Aufgaben in Wartung, Service und 
Produktion zu unterstutzen. Der entscheidende Schritt durch 
den Kontextnavigator 30 besteht in der Integration der 

2 0 unterschiedlichen Technologien und der Vereinheitlichung des 

Inf ormationszugrif f s in einer den Benutzer 3 aktiv 
unterstutzenden Weise- Technologien wie AR-Tracking und 
Workf low-Management -Syst erne bieten ein groSes Potenzial, 
durch Kontexterf assung den Zugriff auf Inf ormationen 8 und 
Funktionen 9 bedarf sgerecht und in hochstem MaSe 
benutzerf reundlich zu gestalten. Der Kontextnavigator 30 
gewahrleistet durch die Gestaltung und Strukturierung der 
Benutzungsoberf lache eine intuitive, schnelle und 
benutzerf reundliche Navigation und Orientierung in 

3 0 Informations- und tatsachlichen Raumen. 

Zusammengef asst betrifft die Erfindung somit ein System und 
Verfahren zur Inf ormationsdarstellung, sowie ein 
Computerprogrammprodukt zur Durchfiihrung des Verfahrens, 
35 welche die Bereitstellung von Inf ormationen 8 und Funktionen 
9 aus einem Datenbestand 7 im Hinblick auf die 
Anwenderf reundlichkeit verbessern. Das System zur 



2001P01308 DEOl 



16 



Informationsdarstellung enthalt eine Anzeigevorrichtung 1 
Anzeigen von in Abhangigkeit von einem Kontext eines 
Benutzers 3 aufgerufenen Inf ormationen 8 und Funktionen 9. 
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Patentanspruche 

1. System zur Bereitstellung von Inf ormationen (8) und 
Funktionen (9) aus einem Datenbestand (7) , 
5 - mit mindestens einem Kontextobj ekt (6) , welches einen 

Datensatz mit Inf ormationen (8) und Funktionen (9) aus dem 
Datenbestand (7) und ein kontextspezif isches Menix (20) mit 
zweiten Steuermitteln zum Zugriff eines Benutzers (3) auf 
das Kontextobj ekt (6) enthalt, 
10 - mit einem Kon text manager (23) zur Verwaltung der 

Kontextobj ekte (6) und zur dynamischen Auswahl der 
Kontextobj ekte (6) in Abhangigkeit eines aktuellen 
Kontextes des Benutzers (3) , wobei der Kontextmanager (23) 
dem Benutzer (3) die ausgewahlten Kontextobj ekte (6) 
15 anbietet und 

- mit einer Anzeigevorrichtung (1) zur Anzeige einer 

Kontextanzeige (29) zur Visual isierung der Kontextobj ekte 
(6) , 

wobei der Kontext des Benutzers (3) durch eine raumliche 
20 Position, ein Arbeitsobjekt und eine Arbeitsauf gabe des 
Benutzers (3) bestimmt ist. 



2. System nach Anspruch 1, 

dadurch gekennzeichnet, 
1^5 dass den Kontextobj ekt en (6) Granularitatsstuf en zugeordnet 
sind und dass der Kontextmanager (23) mit Hilfe eines 
Granularitatsregler (24) zur Auswahl der Kontextobj ekte (6) 
aus einem Auswahlbereich (43) in Abhangigkeit einer gewahlten 
Granularitatsstuf e vorgesehen ist, wobei die GroSe des 
30 Auswahlbereichs (43) von der gewahlten Granularitatsstuf e 
abhangig ist. 

3 . System nach Anspruch 2 , 

dadurch gekennzeichnet, 
35 dass eine automatische Oder benutzergef iihrte Wahl der 
Granularitatsstuf e vorgesehen ist . 
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4. System nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

dass die zweiten Steuermittel des kontextspezif ischen Menus 
(20) zutn Zugriff des Benutzers (3) auf die Inf ormationen (8) 
und die Funktionen (9) und zum benutzergef lihrten Entfernen 
(35) des Kontextobjekts (6) aus der Kontextanzeige (29) 
vorgesehen sind. 

5. System nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

dass eine automatische und/oder eine manuelle Kontext- 
registrierung (21, 22) zur automat ischen bzw. benutzer- 
gefiihrten Erzeugung der Kontextobjekte (6) aus dem Kontext 
des Benutzers (3) vorgesehen ist. 

6. System nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

dass ein Trackingsystem (5) zum Erfassen und Erkennen von 
Objekten im Raum vorgesehen ist, wobei das Trackingsystem (5) 
mindestens eine Bilderf assungseinheit zum Erfassen der 
Objekte und eine Rechnereinheit zur Auswertung von durch die 
Bilderfassungseinheit gelieferten Inf ormationen enthalt und 
wobei durch das Trackingsystem (5) gelieferte Inf ormationen 
zur automatischen Bestimmung des Kontextes des Benutzers (3) 
vorgesehen sind. 

7. System nach einem' der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, 

dass eine Workflow- Engine (27) zur Uberwachung und Steuerung 
der Arbeitsauf gabe des Benutzers (3) vorgesehen ist, wobei 
durch die Workf low-Engine (27) gelieferte Inf ormationen zur 
automatischen Bestimmung des Kontextes des Benutzers (3) 
vorgesehen sind. 

8. System nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

dass eine Bestimmung des Kontextes des Benutzers (3) in 
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Abhangigkeit von Kommunikationspartnern des Benutzers (3) 
vorgesehen ist. 

9. System nach einem der vorhergehenden Anspriiche/ 
dadurch gekennzeichnet, 

dass Referenzen in Form von Eintragen im kontextspezif ischen 
Menu (2 0) oder in Form von Markierungen an Objekten im Raum 
vorgesehen sind, wobei die Referenzen fiir die Erzeugung der 
Kontextobjekte (6) aus dem Kontext des Benutzers (3) durch 
die manuelle Kontext registrierung (22) vorgesehen sind. 

10. System nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, 

dass die Anzeigevorrichtung (1) als mobiles Display 
ausgebildet ist. 

11. System nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

dass die zweiten Steuermittel zur Auswahl der auf der 
Anzeigevorrichtung (1) zu visual isierenden Kontextobjekte (6) 
durch den Benutzer (3) vorgesehen sind. 

12. System nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

dass erste Steuermittel zur Generierving von Meldungen uber 
externe Inf ormationen vorgesehen sind und dass eine 
Bestimmung des Kontextes des Benutzers (3) in Abhangigkeit 
der Meldungen vorgesehen ist, 

13. System nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, 

dass der Datenbestand (7) zur Aufnahme von mit dem Kontext 
des Benutzers (3) verknupften Notizen des Benutzers (3) 
vorgesehen ist und dass eine Kennzeichnung der Notizen als 
private, offentliche oder datenpf legerelevante Notizen 
vorgesehen ist. 
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14. Verfahren zur Bereitstellung von Inf ormationen (8) und 
Funktionen (9) aus einem Datenbestand (7) , bei welchem 
Verfahren 

- mindestens ein Kontextobjekt (6) einen Datensatz mit 

Inf ormationen (8) und Funktionen (9) aus dem Datenbestand 
(7) und ein kontextspezif isches Menu (20) mit zweiten 
Steuermitteln zum Zugriff eines Benutzers (3) auf das 
Kontextobjekt (6) enthalt, 

- ein Kontextmanager (23) die Kontextob j ekte (6) verwaltet 
und die Kontextob j ekte (6) in Abhangigkeit eines aktuellen 
Kontextes des Benutzers (3) dynamisch auswahlt, wobei der 
Kontextmanager (23) dem Benutzer (3) die ausgewahlten 
Kontextob j ekte (6) anbietet und 

- eine Anzeigevorrichtung (1) eine Kontextanzeige (29) 
anzeigt, welche die Kontextob j ekte (6) visualisiert , 

wobei der Kontext des Benutzers (3) durch eine raumliche 
Position, ein Arbeitsobjekt und eine Arbeitsauf gabe des 
Benutzers (3) bestimmt wird, 

15. Verfahren nach Anspruch 14, 
dadurch gekennzeichnet, 

dass den Kontextob jekten (6) Granularitatsstuf en zugeordnet 
werden und dass der Kontextmanager (23) mit Hilfe eines 
Granularitatsregler (24) die Kontextob j ekte (6) aus einem 
Auswahlbereich (43) in Abhangigkeit einer gewahlten 
Granularitatsstuf e auswahlt, wobei die GroSe des 
Auswahlbereichs (43) von der gewahlten Granularitatsstuf e 
abhangig ist. 

16. Verfahren nach Anspruch 15, 
dadurch gekennzeichnet, 

dass die Granularitatsstuf e automatisch oder benutzergef iihrt 
gewahlt wird. 

17. Verfahren nach einem der Anspruche 14 bis 16, 
dadurch gekennzeichnet, 

dass der Benutzer (3) mit zweiten Steuermitteln des 
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kontextspezif ischen Menus (20) auf die Inf ormationen (8) und 
die Funktionen (9) zugreifen kann und das Kontextob j ekt (6) 
aus der Kontextanzeige {29) benutzergef lihrt entfernen kann. 

5 18. Verfahren nach einem der Anspriiche 14 bis 17, 
dadurch gekennzeichnet, 
dass mit einer automat ischen und/oder einer manuellen 
Kontextregistrierung (21, 22) die Kontextob j ekte (6) 
automat isch bzw. benutzergef iihrt aus dem Kontext des 
10 Benutzers (3) erzeugt werden. 

19. Verfahren nach einem der Anspriiche 14 bis 18, 
dadurch gekennzeichnet, 

dass ein Trackingsystem (5) Ob j ekte im Raum erfasst und 
15 erkennt, wobei mindestens eine Bilderf assungseinheit des 
Trackingsystems (5) die Ob j ekte erfasst und eine 
Rechnereinheit durch die Bilderf assungseinheit gelieferte 
Inf ormationen auswertet und wobei durch das Trackingsystem 
(5) gelieferte Inf ormationen den Kontext des Benutzers (3) 
20 automat isch bestimmen. 

20. Verfahren nach einem der Anspriiche 14 bis 19, 
dadurch gekennzeichnet, 

dass eine Workflow- Engine (27) die Arbeitsauf gabe des 
JP^5 Benutzers (3) liberwacht und steuert, wobei durch die 

Workf low-Engine (27) gelieferte Inf ormationen den Kontext des 
Benutzers (3) automat isch bestimmen. 

21. Verfahren nach einem der Anspriiche 14 bis 20, 
30 dadurch gekennzeichnet, 

dass der Kontext des Benutzers (3) in Abhangigkeit von 
Kommunikationspartnern des Benutzers (3) bestimmt wird. 

22. Verfahren nach einem der Anspriiche 14 bis 21, 
35 dadurch gekennzeichnet, 

dass Referenzen in Form von Eintragen im kontextspezif ischen 
Menii (20) Oder in Form von Markierungen an Ob j ekt en im Raum 
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vorgesehen sind, wobei mit den Referenzen Kontextobj ekte (6) 
aus dem Kontext des Benutzers (3) durch die manuelle 
Kontextregistrierung (22) erzeugt werden. 

23. Verfahren nach einem der Anspruche 14 bis 22, 
dadurch gekennzeichnet, 

dass die Anzeigevorrichtung (1) als mobiles Display 
ausgebildet ist. 

24. Verfahren nach einem der Anspruche 14 bis 23, 
dadurch gekennzeichnet, 

dass der Benutzer (3) mit den zweiten Steuermitteln die auf 
der Anzeigevorrichtung (1) zu visualisierenden Kontextobj ekte 
(6) auswahlt. 

25. Verfahren nach einem der Anspruche 14 bis 24, 
dadurch gekennzeichnet, 

dass mit ersten Steuermitteln Meldungen liber externe 
Inf ormationen generiert werden und dass der Kontext des 
Benutzers (3) in Abhangigkeit der Meldungen bestimmt wird. 

26. Verfahren nach einem der Anspruche 14 bis 25, 
dadurch gekennzeichnet, 

dass der Datenbestand (7) mit dem Kontext des Benutzers (3) 
verknupfte Notizen des Benutzers (3) aufnimmt und dass die 
Notizen als private, offentliche oder datenpf legerelevante 
Notizen gekennzeichnet werden. 
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Zusammenf assung 

System und Verfahren zur Inf ormationsstellung 

5 Die Erfindung betrifft ein System und Verfahren zur 

Inf ormationsdarstellung, sowie ein Computerprogrammprodukt 
zur Durchfiihrung des Verfahrens, welche die Darstellung von 
Inf ormationen im Hinblick auf die Anwender f reundlichkeit 
verbessern. Das System zur Inf ormationsdarstellung enthalt 

0 eine Anzeigevorrichtung (1) zum Anzeigen von in Abhangigkeit 
von einem Kontext aufgerufenen Inf ormationen . 
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